Après le départ des franciscains de leur couvent en 1542, le premier hôpital est transféré dans leurs bâtiments conventuels. Détruit par la foudre en 1735, l'hôpital fut reconstruit entre 1736 et 1744 sur des plans de l'architecte parisien Antoine Malbert, avec la participation du chanoine de l'église Saint-Pierre-le-Jeune de Strasbourg. L'édifice bâti dans le style néo-classique est un bel exemple de l'architecture française du XVIIIe siècle, il a été construit avec les pierres des fortifications de la ville démantelées en 1673. L'ancien hôpital a été transféré en 1938 au nouvel hôpital Pasteur, les locaux accueillent depuis 2012 la médiathèque de Colmar et la place du 2 Février a été entièrement refaite à cette occasion; un "cloître vert" inauguré le 29 septembre 2012.